Scaling Inherently Interpretable Language Models
缩放内建可解释性语言模型
🧭 可解释性内置训练的 LLM 缩放
Guide Labs
将可解释性作为训练约束与语言建模联合优化，实现与规模同步提升的内建可解释性
📌 工作参考价值（4 点）
- 在推荐模型训练中加入概念瓶颈层，强制用户/物品表示与预定义业务概念（类目、品牌、意图）对齐，实现原生可解释的 embedding，用于召回或排序解释。
- 利用归因与训练数据溯源能力，快速诊断推荐结果：定位影响当前推荐的用户历史行为或训练样本，通过移除/增强对应概念快速调试策略，无需重新训练。
- 扩散语言模型 + 概念转向的思路可迁移至生成式推荐（如语义 ID 生成），在生成物品序列时直接通过概念向量控制推荐属性（多样性、新品偏好等）。
- 可解释性随规模改善的缩放律意味着，在大规模推荐模型（如多模态 Transformer）中实验此类训练约束风险更低，可放心追求能力与可解释性双赢。